Передача інформації з дискретним і безперервним каналах зв`язку

Передача інформації з дискретним і безперервним каналах зв'язку

Продуктивність джерела дискретних повідомлень

Є

,

де М - обсяг алфавіту джерела.

.

Для такого джерела можемо визначити середню кількість інформації в повідомленнях (ентропію).

.

Джерело працює на інтервалі T і генерує за цей час кількість інформації .

,

швидкість видачі інформації джерелом, якщо процес ергодичної.

Якщо джерело видав n елементарних повідомлень, а тривалість повідомлень тоді:

.

Визначимо максимальну продуктивність джерела

.

Швидкість передачі інформації з дискретним каналам без перешкод. Оптимальне статистичне кодування

Якщо відсутні перешкоди, то при узгодженні джерела з каналом, швидкість передачі інформації дорівнює продуктивності джерела повідомлень:

.

Завданням статистичного кодування є максимізація швидкості передачі інформації по каналу зв'язку.

В даний час використовується двійкове кодування.

Щоб забезпечити максимальну швидкість передачі інформації по каналу без перешкод, необхідно реалізувати оптимальне статистичне кодування повідомлень джерела двійковим кодом. Можна довести, що для виконання ОСК необхідно виконати правило:

,

де - Кількість символів у комбінації двійкового коду.

Тобто кількість символів у кодовій комбінації повинна дорівнювати кількості інформації в кодованої повідомленні.

Існує ряд алгоритмів статистичного кодування. Основна мета всіх схем ОСК - мінімізація середньої тривалості кодових комбінацій. Необхідно здійснити кодування таким чином, щоб найбільш часто зустрічаються комбінації кодувалися найбільш короткими комбінаціями. Найбільш відомі схеми Шеннона-Фано і Хаффмена. Характерно те, що попередньо всі повідомлення записуються в порядку убування їх ймовірностей. Ні одна коротка комбінація не є початком більш довгою. Саме ця властивість дає можливість декодування.

Малюнок - Схема кодування Шеннона - Фано.

Оптимальне статистичне кодування забезпечує передачу інформації по каналах зв'язку з максимальною швидкістю. Недолік: перешкоди або збої в апаратурі, спотворення символу ведуть до спотворення всіх інших комбінацій.

Необхідно вводити інтервали між кодовими комбінаціями. Величина захисного інтервалу між комбінаціями повинна бути кратна тривалості імпульсу і не менш тривалості одного імпульсу. Це знижує гідності оптимального коду.

Швидкість передачі інформації та пропускна здатність дискретних каналів з ​​перешкодами

Нехай джерело генерує повідомлення

Оцінимо швидкість передачі інформації -Вхід, -Вихід

- Передане повідомлення

- Варіанти прийнятих повідомлень.

Якщо відсутні перешкоди, то мають місце однозначні переходи. Якщо перешкоди присутні, то мають місце хибні переходи.

Матриця перехідних ймовірностей:

Вона показує ймовірність переходу переданого символу до прийнятого . Максимальне значення перехідних ймовірностей лежить на головній діагоналі матриці - .

Кількість інформації визначається як:

У разі відсутності помилок в передачі

.

Аналізуючи отримані повідомлення, можемо побудувати матрицю апостеріорних ймовірностей.

-Апостеріорна (послеопитная) ймовірність.

, Якщо прийнято вірно

Ця величина визначає, яку кількість інформації необхідно ще отримати, щоб повідомлення стало достовірно. Така кількість інформації було втрачено в каналі зв'язку при передачі повідомлення .

Кількість інформації, отримане одержувачем:

Взаємна інформація - Кількість переданої інформації міститься в при прийомі :

Нас цікавить середня кількість інформації, доставленої на вихід каналу одним прийнятим повідомленням:

- Ентропія джерела, тобто середня кількість інформації, що міститься в кожному переданому символі.

- Ентропія втрат, тобто середня кількість інформації, яка втрачається при передачі символу.

- Середня кількість інформації, що доставляється споживачеві при прийомі одного повідомлення.

- Суміш корисного повідомлення з шумом

- Ентропія вихідного каналу, середня кількість інформації, що міститься в одному вихідному символі (суміші сигналу з перешкодою).

- Ентропія шуму, середня кількість інформації, яка додається шумом.

За час отримуємо кількість інформації:

Швидкість передачі інформації:

,

- Пропускна здатність.

Значення залежать від співвідношення сигнал / шум, способу обробки сигналу, виду сигналу, виду канального кодування і матриці перехідних ймовірностей.

Пропускна здатність двійкового симетричного каналу зв'язку з перешкодами

Є і , і

Канал називається симетричним, якщо ймовірності помилкових переходів рівні між собою.

Пропускна здатність у такому випадку залежить тільки від ймовірності помилки і стає рівною нулю, якщо ймовірність помилки

Швидкість передачі інформації

Маємо безперервний канал зв'язку, в якому передається безперервне повідомлення (сигнал) . У цьому каналі діє адитивна перешкода . У результаті на виході приймального пристрою ми маємо суміш

.

Розглянемо часовий інтервал T, на ньому ми передали кількість інформації , Тоді

.

Будь-яке неперервне повідомлення, яке існує на кінцевому інтервалі T і має обмежений спектр можна замінити сукупністю дискретних відліків.

- Число відліків.

Швидкість передачі

,

де - Диференційна ентропія одного відліку.

Пропускна здатність безперервного каналу з нормальним білим шумом. Формула Шеннона

На виході каналу суміш сигналу з шумом

- Нормальний білий шум, описується одномірним законом розподілу ймовірностей

- Щільність потужності фізичного спектру.

Можна показати, що

Максимальною ентропією має джерело нормального білого шуму і значення ентропії якого дорівнює

- Середньоквадратичне відхилення миттєвих значень.

- Потужність шуму.

Якщо шум існує в смузі , То потужність шуму

.

Пропускна здатність

,

.

- Сигнал на виході.

Так як - Нормальний білий шум, то можна довести, що максимум буде в тому випадку, якщо , Також буде процесом типу нормального білого шуму. У цьому випадку

,

.

Процес також має бути типу нормального білого шуму.

Тоді

- Формула Шеннона.

Якщо , То

,

Значення пропускної здатності прагне до постійної величини, тому що потужність сигналу не залежить від ширини спектру та смуги пропускання, а потужність шуму прямопропорційна смузі пропускання.

Пропускна здатність безперервних каналів зв'язку при довільних спектрах сигналів і перешкод

Формула Шеннона була виведена за умови, що по каналу зв'язку передається шумоподобний сигнал типу білого шуму:

Більш загальний вигляд формули Шеннона

,

де - Коефіцієнт форми сигналу.

Для прямокутних сигналів .

Для шумоподібних сигналів .

Для синусоїдального сигналу .

Якщо спектральна щільність потужності сигналу , А перешкоди , Можна отримати формулу для випадку нерівномірних спектрів сигналів і перешкод.

Розглянемо нескінченно вузьку смугу частот у межах

Максимум досягається у разі, якщо

у всьому діапазоні.

На основі цього можна будувати алгоритм адаптивних систем зв'язку та радіолокації.